SAN存储实施实践

实施概述

SAN存储集群实施分为以下步骤

1. 规划沟通：

  • 存储网络规划：架构布局、冗余组网。
  • 存储容量规划：硬盘配置、LUN类别。

2. 物理机安装操作系统：操作系统安装，网络配置。

3. 云平台安装：安装ZStack Cloud云平台。

4. SAN存储对接：

  1. 物理机IQN/WWN获取。
  2. 存储添加主机，划分主机组，配置lun映射。
  3. 物理机扫描对接多路径设备。

5. 云平台初始化：区域→集群→物理机→sharedblock主存储。

最佳实践

物理机操作系统部署要求：

  • BIOS：需要注意CPU C State的状态。
  • RAID：系统盘需要做RAID1 设置Write Through。
  • 系统安装配置：不建议创建SWAP分区，在自动创建分区时检查是否含有SWAP分区。并且推荐安装compute node，后期配置好网络后再进行
  • 网络配置：bond配置，建议优先lacp，其次使用ab模式。

系统安装完成后，需要配置bond 并将ip配置在网桥上，随后执行免密脚本。免密脚本的获取，请及时联系技术支持进行获取并且提前熟悉使用。

网络配置要求：

  • 管理网络、业务网络、存储网络建议在物理链路 层面进行隔离，同时均采用双链路配置bond。
  • bond模式优先考虑链路聚合模式，进一步提高 网络带宽以及网络可靠性。
  • 相同型号网卡可以设置跨物理网卡做bond配置， 达到物理冗余。
  • 特殊情况下，管理网卡、业务网卡、存储网络即使均为单个物理网口，也都建议配置bond，进行网卡名称归一化配置。
  • 使用zs-network-setting命令配置IP地址时， 都采用 –b 参数，将IP地址配置在网桥之上，若网络带vlan 在配置ip时需要使用bondx.xxxx(VLAN号)进行网络ip配置。
  • 而后选择管理节点进行安装，随后对平台进行初始化操作。

IP-SAN对接：

1. 配置存储网络并检查连通性。

2. 查询所有物理机的IQN号。

  #cat /etc/iscsi/initiatorname.iscsi

3. 存储侧划分主机组，以IQN，存储网IP等标识添加ZStack Cloud云平台物理机。

4. 存储侧划分映射lun。

5. ZStack UI 硬件设施、iSCSI存储、添加iSCSI存储、同步数据、物理机扫描lun设备。

  #rescan\-scsi-bus.sh -a

6. 添加SharedBlock主存储

  #检查存储端
  #iscsiadm --mode discovery --type sendtargets --portal 192.168.1.55
  #登录验证码
  # iscsiadm-m node -T iqn.1994-05.com.redhat:wsfnk -p 192.168.1.55 -o update --name node.session.auth.authmethod --value=CHAP
  #添加用户
  # iscsiadm -m node -T iqn.1994-05.com.redhat:wsfnk -p 192.168.1.55 -o update --name node.session.auth.username --value=yonghu
  #添加密码
  # iscsiadm –m node –T iqn.1994-05.com.redhat:wsfnk -p 192.168.1.55 -o update --name node.session.auth.password --value=yonghu-password
  #测试挂载设备
  # iscsiadm -d2 -m node -T iqn.1994\-05.com.redhat:wsfnk -p 192.168.1.55 –login
  #检查会话
  #iscsiadm –m session

  注意：multipath配置，华为需要勾选第三方多路径配置。

FCSAN对接：

1. 查询所有物理机HBA卡WWN号。

  #cat /sys/class/fc_host/host*/port_name

2. 存储侧划分主机组，以WWN号标识添加ZStack Cloud云平台物理机。

3. 存储侧划分映射lun。

4. ZStack UI 硬件设施、FC存储、同步数据、物理机扫描lun设备。

  #rescan-scsi\-bus.sh \-a

5. 添加SharedBlock主存储。

6. FC-SAN环境中配置镜像服务器。

  #multipath –ll
  #parted /dev/mapper/mpathb mklabel gpt
  #mkfs.xfs -f -i size=512 -l size=128m,lazy-count=1 -d agcount=16 /dev/mapper/mpathb
  #chmod +x /etc/rc.d/rc.local
  #mkdir /zstack_bs -p
  #mount /dev/mapper/mpathb /zstack_bs
  #echo sleep 60\>> /etc/rc.d/rc.local
  #echo mount /dev/mapper/mpathb/zstack_bs\>>/etc/rc.d/rc.local
  #df –h
  #ls \-l /etc/rc.local

注意事项

  • 独立采购HBA卡，ZStack Cloud云平台低版本时使用Emulex 型号的HBA卡在SCSI-3 PR 时，当虚拟机热迁移后，使用的HBA 卡会发生变化，因此导致PR 失效。
  • 华为的HBA卡在银河麒麟没有HBA卡驱动，不支持FC-SAN，QLogic和Emulex HBA卡驱动可以正常识别并用。
  • HBA网卡首推荐QLogic，型号TOP5：
    • Emulex LightPulse LPe16002
    • QLogic ISP2532-based 8Gb Fibre Channel to PCI-E HBA
    • QLogic ISP2722-based 16/32Gb Fibre Channel to PCIe Adapter
    • Emulex Lancer Gen6: LPe32000 Fibre Channel Host Adapter
    • Emulex Saturn -X: LightPulse Fibre Channel Host Adapter
  • 严禁将ZStack Cloud云平台已经使用的LUN提供给其他业务混用，其他非云平台管控的格式化或写入操作会导致现有业务数据丢失。
  • 如果SAN存储同时提供给ZStack Cloud云平台和其他业务使用，需要共用此SAN存储，在做LUN映射时，请做好LUN映射隔离，提供给ZStack Cloud云平台使用的LUN，请勿再映射给非ZStack管控的其他物理机。
  • 请务必确认，在对SAN存储操作LUN时，千万不可在计算节点上对ZStack Cloud云平台已使用的LUN进行任何格式化或任何写入操作。
  • 未被加载到云主机的磁盘，支持添加为Shared Block主存储。
  • 未添加为主存储的磁盘支持加载到云主机。
  • 一个磁盘支持加载到多个云主机，一个云主机支持加载多个磁盘。
  • 存储至少需要规划两个LUN，其中一个大容量LUN作为主存储使用，主要提供云主机的系统云盘和数据云盘及快照数据等，另外一个LUN可预留2T容量作为镜像服务器使用，主要存放云主机的镜像。
  • 建议每个主存储（shareblock类型）中只添加一个LUN，以便于后期维护和管理。
  • 扩容时建议对LUN扩容，随后在ZStack Cloud云平台侧对块设备进行刷新容量。
  • 严禁在业务运行过程中更改multipath文件以及重启多路径服务。
  • 严禁在业务运行过程中执行rescan-scsi-bus.sh

results matching ""

    No results matching ""